Su padre era clérigo en Grossfurra.Después de asistir inicialmente a la escuela en su ciudad natal, lo enviaron en 1656 a Eisenach durante tres años. Allí asistió a la escuela del pueblo, cuyo personal incluía a Theodor Schuchardt, maestro altamente respetado de música y latín. Desde 1659 a 1662 Agricola estudió para su examen de graduación en el Gymnasium de Gotha; el director del colegio era Andreas Reyher, coautor del Gothaer Schulmethodus, una obra educativa que se convirtió también en un ejemplo para la enseñanza de la música.

En 1662-63 Agricola estudió filosofía en la Universidad de Leipzig y dede 1663 a 1668 teología y filosofía en Wittenberg, donde se le otorgó un grado de maestro por la facultad de filosofía. Sus cuatro ensayos eruditos registrados que datan de este periodo están perdidos. Agrícola había empezado a aprender los principios de la música durante sus años escolares, y también puede haber sido alumno del Kantor de la Thomaskirche, Leipzig, Sebastian Knüpfer. Continuó su entrenamiento musical en Wittenberg, completando allí los estudios de composición bajo la guía de músicos italianos residentes.

De regreso en su Thuringia natal pudo volcar sus habilidades musicales hacia un buen uso en la Kapelle de la corte de Schwarzburg-Sondershausen hasta que en 1670 el Duque Ernst el Pío de Saxe-Gotha lo nombró su Kapellmeister de la corte de Gotha sucediendo a W. C. Briegel. Conservó este puesto con mucho éxito hasta su muerte. Muy poca de su música ha sobrevivido. Sus tres volúmenes perdidos de “Musicalische Nebenstunden” comprendían sonatas, preludios, allemandes, courantes y ballettos. Sus obras vocales existentes muestran la influencia de Heinrich Schütz y la tradición de los Kantors sajones que, en la historia temprana de la cantata luterana, usaban formas que ganaron dinero en Alemania central.